Kompany khoác áo đội tuyển Bỉ lần đầu tiên vào tháng 2 năm 2004, khi mới 17 tuổi, trong trận gặp Pháp, trở thành một trong những cầu thủ trẻ nhất khoác áo đội tuyển Bỉ tính ở thời điểm đó. Liên đoàn bóng đá Bỉ đã triệu tập Kompany tham dự Thế vận hội Mùa hè 2008. Ban đầu, câu lạc bộ chủ quản anh là Hamburg không cho phép anh tham dự vì đó không phải giải đấu chính thức của FIFA. Sau khi thương lượng, Hamburg chỉ cho phép Kompany dự hai trận đầu vòng bảng. Ở Olympics, anh bị đuổi ngay ở trận đầu thua 0–1 trước Brasil. Theo như yêu cầu của Hamburg thì Thế vận hội kết thúc vì anh không có quyền tham dự trận tiếp theo. Tuy nhiên Kompany quyết định ở lại để góp phần giúp Bỉ vượt qua vòng bảng. Câu lạc bộ vẫn nhất quyết buộc anh về. Liên đoàn bóng đá Bỉ quyết định cho anh về. Kompany về câu lạc bộ cũng chỉ làm dự bị trận khai mạc mùa giải gặp Bayern Munich. Mối quan hệ căng thẳng giữa Hamburg và Kompany là nguyên nhân chính để Kompany chuyển đến Manchester City.

Tháng 11 năm 2009, Kompany khẩu chiến với huấn luyện viên đội tuyển Dick Advocaat. Vì trả phép không đúng hẹn, Advocaat loại Kompany khỏi đội tuyển, cho đến tháng 2 năm 2010 mới gọi lại trong trận giao hữu với Croatia [5]. Tháng 11 năm 2011, một ngày trước trận giao hữu gặp Romania, huấn luyện viên thời điểm đó là Georges Leekens trao băng đội trưởng đội tuyển quốc gia cho Vincent Kompany, thay thế Thomas Vermaelen.